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Анотація. Розглядається алгоритмічно-програмне забезпечення для математичного моделювання стій- 
кості конструкцій, що зводиться до розв'язування часткової узагальненої проблеми власних значень розрідже- 
них матриць з автоматичним розпаралеленням обчислень на сучасних паралельних комп'ютерах з графічними 
процесорами. Представлено особливості реалізації паралельних алгоритмів для різних структур розріджених 
матриць. Наведено часи розв'язування задачі стійкості композитних матеріалів із застосуванням тривимірної 
моделі «волокон кінцевих розмірів» на комп'ютерах різної архітектури. При математичному моделюванні 
фізико-технічних процесів у багатьох випадках виникає потреба розв'язувати задачі алгебраїчної проблеми 
власних значень (АПВЗ) з розрідженими матрицями великих обсягів. Зокрема, такі задачі виникають при ана- 
лізі міцності конструкцій у цивільному та промисловому будівництві, авіабудуванні, електрозварюванні тощо. 
Розв'язання цих задач полягає у визначенні власних значень і власних векторів розріджених матриць різної 
структури. Від ефективності розв'язування цих задач у великій мірі залежить ефективність виконання матема- 
тичного моделювання задачі в цілому. Безперервне зростання параметрів задач, розрахунок на комп 'ютерах 
більш повних моделей об'єктів і процесів потребують зростання продуктивності комп'ютерів. Вимоги до висо- 
копродуктивних обчислень набагато випереджають можливості традиційних паралельних комп'ютерів, навіть 
не зважаючи на багатоядерність процесорів. На сьогоднішній день ця проблема вирішується використанням 
потужних суперкомп'ютерів гібридної архітектури, наприклад, комп'ютерів з багатоядерними процесорами 
(СРО) та графічними процесорами (СР), які поєднують МІМО- 1 5ІМР-архітектури. Але якнайповніше вико- 
ристати потенціал високопродуктивних комп'ютерів можна лише за наявності алгоритмічно-програмного за- 
безпечення, яке враховує як властивості задачі, так і особливості гібридної архітектури. Ускладнення архітек- 
тури сучасних високопродуктивних суперкомп'ютерів гібридної архітектури, які активно використовуються 
для математичного моделювання (збільшення кількості обчислювальних процесорів та ядер, різні види ком- 
п'ютерної пам'яті, різні технології програмування тощо) означає істотне ускладнення ефективного викорис- 
тання цих ресурсів при створенні паралельних алгоритмів та програм. Постають проблеми створення 
алгоритмічно-програмного забезпечення з автоматичним виконанням етапів робіт, які пов'язані з ефективним 
використанням обчислювальних ресурсів, способами збереження і обробки розріджених матриць, аналізом 
достовірності комп'ютерних результатів. Це дає можливість значно підвищити ефективність математичного 
моделювання практичних задач на сучасних високопродуктивних комп'ютерах, а також звільнить користува- 
чів від проблем розпаралелення складних задач. В розробленому алгоритмічно-програмному забезпеченні 
автоматично реалізуються всі етапи розпаралелення обчислень та обробки розріджених матриць на гібридному 
комп'ютері. Воно було використано в Інституті механіки імені С.П. Тимошенка НАН України при моделю- 
ванні задач міцності композитного матеріалу. Отримано суттєве покращення часових характеристик матема- 
тичного моделювання. Задачі математичного моделювання властивостей композитних матеріалів відіграють 
велику роль у проєктуванні процесів деформування та руйнування виробів у різних предметних областях. Роз- 
глядається алгоритмічно-програмне забезпечення для математичного моделювання стійкості конструкцій, що 
зводиться до розв'язування часткової узагальненої проблеми власних значень розріджених матриць різної 
структури великих порядків з автоматичним розпаралеленням обчислень на сучасних паралельних комп'юте- 
рах з графічними процесорами. Представлено основні методологічні принципи та особливості реалізації пара- 
лельних алгоритмів для різних структур розріджених матриць, що забезпечують ефективне виконання багато- 
рівневого паралелізму гібридної системи та зменшують час обміну даних під час обчислювального процесу. 
Як приклад зазначених підходів, наведено гібридний алгоритм методу ітерації на підпросторі для стрічкових 
та блочно-діагональних матриць з обрамленням для комп'ютерів гібридної архітектури. Розглянуто особли- 
вості декомпозиції даних для матриць профільної структури при реалізації паралельних алгоритмів. Запропо- 
нований підхід забезпечує автоматичне визначення необхідної топології гібридного комп'ютера та оптимальну 
кількість ресурсів для організації ефективного обчислювального процесу. Наведено результати тестування роз- 
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робленого алгоритмічно-програмного забезпечення для задач з колекції університету Флориди, а також часи 
розв'язування задачі стійкості композитних матеріалів із застосуванням тривимірної моделі «волокон кін- 
цевих розмірів» на комп'ютерах різної архітектури. Результати свідчать про суттєве покращення часових 
характеристик розв'язування задач. 

Ключові слова: алгебраїчна проблема власних значень; розріджені матриці; гібридні комп'ютери; задачі 
стійкості конструкцій; композитні матеріали; математичне моделювання. 


АБбігасі. АІсгогіїптіс 5оїсмаге Гог плафретайсаї подейпе ої 5ігасіига! 5:абійгу 15 соп5ідегей, мПісі 15 ге- 
дисед іо 80ЇІміпє а рагіїа! сепегайед еідепуашшез ргобіет ої взраг5е плайісе8, млі ашіотацйс рагаПепганоп ої саїсиіа- 
йоп5 оп плодегп рагаїе! согариіегя мії єгарпіс5 ргосе55ог5. РесиНагійез ої геайгацоп ої рагаїе! аїсогіййтя Їог аїЇ- 
Їегепі зігисіиге5 ої зраг5е таїгісез аге ргезепіей. ТПе йтез ої 50Їуїпє Ше ргобіет ої 5іабіШсу ої сотпрозіїе плаіегіа!8 
ивіпеє а ШФгее-Фітепзіопа! плодеі ої "піе 58172 ПБег5" оп сопприкег5 ої дїНегепі агспіїесіитез аге 9їуеп. Пп плаїпета- 
бсаї подейпе ої ррузіса! апа (есрпісаї! ргосе55ез іп плапу са5е5 Шеге 15 а пеей 0 50Їуе ргобіетея ої аЇсебтаїс ргобіет 
ої еігепуаше8 (АРУ7) мії зраг5е плаїгісез ої Іагое уоЇитез.  рагіїсиіаг, 5иср ргобіетез агі5е іп Ше апаїузія ої (ре 
зшепоШ ої 5кгискиге5 їп сімії апа іпацяітіа! соп5ігисйоп, аїгсгай, соп5ігасйоп, еЇесігіс ууеідіпе, еїс. ТПе 50Іміпє іо 
Фезе ргобіеття 15 іо Фегегтіпе Ше еідепуаШшез апа еісепуестіогя ої зраг5е плаїгісе5 ої діНегепі 5їгисіште. ТПе еїйсіепсу 
ої зоЇуїпє Шезе ргобіетя ІагееЇу дерепаз оп (Бе еНесіуепезз ої пзашретайсаї подейпє ої Ше ргобіет а8 а уроїе. 
Сопіпиоця ягомй ої ка5к рагатетегз, саїсціацоп ої плоге согаріеге тоадеіз ої обіесів апа ргосе85е5 оп сопприкегя ге- 
дміте ап іпстеа5е іп согариіег ргодисйуіїсу. Нієб-регібогтапсе соплрийпя гедцігетепія аге Гаг ареай ої (гадійопа! ра- 
гаПе! сотрийпє, еуеп мії паційсоге ргосез5ог8. Нієр-регіогтапсе сотрийпе тедиігетепія аге Гаг ареай ої шадїй- 
опа! рагайе! сотрийпє, еуеп лій паційсоге ргосе55ог8. Тодау, Ші8 ргобіега 15 50Імед Бу иц8іпе ромегійці зарегсотри- 
ег5 ої рубгід агспіїесішге, висі аз сопприкег5 умій плиійсоге ргосе55ог5 (СРО5) апа єгарбіся ргосе58ого (СРЮ5), 
мПпісп сотбіпе МІМО апа 5ІМР агспіїесіитез. Вис Бе рогепіа! ої рієб-регіогтапсе сотрикгя сап Бе ц5ей ї0 Ше 
йШПезі опіу мій аїсогіфптіс 50Йсумаге Ша! (аке5 іпіо ассоппі Бо Бе ргорегіїез ої ре (азК апа Ше Геакигез ої Бе руб- 
гід агспігестиге. Сотріїсайпоя Ше агсріїесіиге ої піодегп Бієп-регіогтлапсе зирегсогаритег5 ої Бубгід агспіесіиге, 
місій аге аспуе!у цзед їог плайпетайса! птодейпє (іпсгеазіпя Бе питрег ої согариіег ргосез8ог5 апа согез, діНегепі 
сурез ої сопариіег петогу, діНегепі ргостаттіпє іесппоїогівя, еїс.) теапя а 8ієпійсапі сопріїсайоп ої еййсіепі ц5е 
ої резе гезошгсез іп стеайпе рагаїеі аїєогіїртя апа ргоєбгатія. реге аге ргобіетя млі Ше стеайоп ої а|єогійптіс 50їЙ- 
муаге ул ашіотайс ехесийоп ої 5їаєез ої м/огК, мрісП аге аз5осіагед мії Ше еййсіепі ц5е ої сотрийпя ге5ошгсез, 
муауб (о 5їоге апа ргосе585 зраг8е плайісез, апаузія ої Ше гепабійсу ої согариїег гезціїзв. ТРіз пакез їс роз8ібіе 10 5ієпі- 
сапу іпсгеа5е Ше ейїсіепсу ої ттаФетайса піоденпя ої ргасіїса! ргобіетя оп плодегп рієр-регіогтапсе сотри- 
(ег8, а5 ммеП а8 ее п5ег5 Їгога ре ргобіет5 ої рагаНепгайоп ої сопаріех ргобіет5. Бе деуеїоред аЇїдогійтіс 50Ймуаге 
ашотайсаПу ітріетепія аП 58іа2е5 ої рагайе! сотрийтя апа ргосеззіпеє ої 5раг5е плаїгісез оп а рубгід соприєег. 
Іс мма8 ее ас Бе Пі5иіе ої МесПпапіс5 патеа айег 5.Р. Тутоз5репКо МА5 ої ОКгаїпе їп тодейпя Фе 5ігепоЮ ргоб- 
Істя ої сотрозіїе піаїегіа!. А 5іспійсапі ітргоуетепі їп (Бе йте срагастегі5йся ої плафетайса! подейпо, ма об- 
саїпей. Ргобіетя ої птлаШпетабйса! подейпе ої Ше ргорегіїез ої соппровіїе плакегіа!я паз ап ітрогіапі гоіе іп дезідпіпє 
Фе ргосез85е5 ої деїогтайоп апа дезігиспоп ої ргодисів іп уагіоц8 зибіесі агеаз. АЇсогійтіс 50їїмаге їог пашпета- 
бсаї тодеНнпя ої 5ігисцига! зїабійу 15 сопзідегей, м/бісі 15 гедисед іо 50Їміпе а рагіа! єепегайгей ргобіет ої еїсеп- 
уашеєз ої зраг5е таїгісез ої дїНегепі 5(гисіите ої Іагое огаег8, млїіЮ ашіотайс рагаПепганоп ої саїсціайопя оп плодегп 
рагайе! сопарикего мій єтарріся ргосез85ог8. Тре таїп птеїподоїо?іса! ргіпсіріез8 апа Геагигез ої ітріетепіаноп ої ра- 
гаПе! аїєогіїрта5 Їог ФїНегепі 5ігис(игез ої 5раг5е таїгісез аге ргезепіед, мПпісі еп5иге еНесіує ітріетепіайоп ої 
тиїціеуеї рагаПензт ої а пубгід 5у5іет апа гедисе Фаїа ехсрапое те дигіпє Фе сопіриайопа! ргосе88. Аз ап 
ехатріе ої Шеке арргоасрез, а пубгід аїсогійт ої Бе Кегайоп пеїодй їп 5иб5расе Гог іаре апа Біоск-Фаєопа! паї- 
гісез мії а їтате Їог согариіегя ої рубгід агсріїеските 15 9їмеп. Ресийагійез ої дага дДесотровійоп їог піакгісе8 ої рго- 
Не 5ігисіите аї геайгайоп ої рагайе! аїсогіптя аге соп5ідегей. ТПе ргорозей арргоасі ргоуїде8 ашіотайс деїегтіпа- 
йоп ої Фе гедцігед іороіоєу ої Фе Ппубгід сотриг»г апа Фе орйта! апоцих ої гезопгсез Їог Ше огбапігайоп ої ап еї- 
Псіепі согариіацопа! ргосе585. ТПе гезиіїв ої іе5іпє Ше деуеїореа аїсогіїртіс 850їЇїмаге їог ргобіетя тот Ше соПес- 
оп ої Ше Опімегзігу ої Еіогіда, аз ме аз (ре тез ої 50Іміпє Ше ргобіет ої 5іабійсу ої соппробіге плагегіа!з цп5іпе 
а Фгее-Фітепзіопа! піоде! ої "пі 517 ПБег8" оп сопаритегя ої ФфНегепі агсрікестигез. ТРе гезиів 5ром а зідпійсапі 
ітргоуетепі їп Бе йте сПагасіегіяися ої 50Іміпеє ргобіетея. 

Кеуууогая: аїсебгаїс ргобіет ої еідепуаїцез; зраг5е таїгісез; пубгід согаритегз; 5ігистига! 5кабійту ргобіет5; 
согарозіе таїегіаїя; плапетайса! птодейпез ргобіете ої 5габійсу ої 8ігисіиге8. 


Вступ 

Розробка моделей і методів до- 
слідження властивостей композитних ма- 
теріалів відіграють велику роль у проєкту- 
ванні процесів деформування та руйну- 
вання виробів у різних предметних 
областях. 

У представленій роботі розглядаєть- 
ся математичне моделювання задачі ви- 
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значення докритичного стану та стійкості 
композитного матеріалу в рамках «воло- 
кон кінцевих розмірів» | 1, 21. 

Складність отримання аналітичних 
розв'язків таких задач передбачає до- 
слідження тривимірних моделей, викорис- 
тання сучасних чисельних методів та по- 
тужних комп'ютерів для їх реалізації. 
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При цьому найбільші комп'ютерні 
ресурси витрачаються на розв'язування 
часткової узагальненої АПВЗ розріджених 
додатно визначених матриць різної струк- 
тури, що виникають у результаті дискре- 
тизації крайових задач методом скінчен- 
них елементів або скінченних різниць. 

Обчислені мінімальні власні значен- 
ня дають можливість визначити величини 
критичних параметрів стійкості композит- 
ного матеріалу при стисненні поверхне- 
вим навантаженням. 

З метою підвищення ефективності ма- 
тематичного моделювання стійкості компо- 
зитних конструкцій створено алгоритмічно- 
програмне забезпечення для дослідження та 
розв'язування часткової узагальненої АПВЗ 
розріджених матриць різної структури на 
основі методу ітерацій на підпросторі для 
використання на високопродуктивних бага- 
тоядерних комп'ютерах МІМР-архітектури 
з графічними процесорами. Теоретичні ас- 
пекти методу ітерацій на підпросторі викла- 
дено в роботі |3|, а реалізація на МІМО- 
комп'ютерах представлена в роботі |41. 

При створенні паралельних алгорит- 
мів для комп'ютерів зі складною гібрид- 
ною архітектурою - гібридних алгоритмів 
- необхідно передбачити, що алгоритм мо- 
же бути розпаралелений на обчислювальні 
процеси, які будуть виконуватися на про- 
цесорних ядрах СРО (по одному процесу 
на ядро), кожен з яких має можливість ви- 
конувати багатопоточні однотипні обчис- 
лення великих обсягів на графічному при- 
скорювачі (СРО). Під процесом розуміють 
програму, що виконується на ядрі СРІ, ви- 
користовує для своєї роботи частину ло- 
кальної оперативної пам'яті й здійснює низ- 
ку операцій прийому/передачі даних для ор- 
ганізації інформаційної взаємодії між інши- 
ми процесами та процесорами СРО. 

Таким чином, розв'язування задач на 
гібридному комп'ютері передбачає два рів- 
ня паралелізму: паралелізм між підзадача- 
ми (закінченими частинами алгоритму, які 
можуть виконуватися незалежно) та пара- 
лелізм операцій всередині підзадачі. 

При створенні ефективних алгоритмів 
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розв'язування часткової узагальненої АПВЗ 
розріджених матриць різної структури вели- 
ких обсягів на таких комп'ютерах необхід- 
но прагнути зменшити кількість пересилок 
інформації між СРО та СРО, застосовуючи 
асинхронне виконання великих обчислень, 
динамічний паралелізм тощо. 

Основними методологічними прин- 
ципами створення даного алгоритмічно- 
програмного забезпечення є автоматичне 
виконання таких етапів робіт: попереднє 
визначення окремих підзадач для їх ефек- 
тивної реалізації на СРО та СРО; ідентифі- 
кація структури вихідної розрідженої мат- 
риці та упорядкування дорегулярної струк- 
тури; розпаралелення обчислень на пара- 
лельній архітектурі комп'ютера - побудова 
ефективної топології з обчислювальних 
пристроїв гібридного комп'ютера (вузлів, 
процесорів 1 ядер СРО, процесорів СРІ)) та 
ефективний розподіл даних задачі між цими 
пристроями; забезпечення синхронізації об- 
числень 1 обмінів даними; аналіз достовір- 
ності отриманих комп'ютерних результатів. 

Ефективна топологія з оптимальної 
кількості процесорів визначається на осно- 
ві теоретичних досліджень розроблених ал- 
горитмів та практичних експериментів роз- 
в'язування великої кількості тестових 
задач з матрицями різної структури та 
обсягів |5, 6. 

Ідентифікація структури розріджених 
матриць здійснюється при використанні 
штучних нейронних мереж |7|. 

Постановка задачі розв'язування 
АПВЗ розріджених додатно визначених 
матриць 

Знайти г мінімальних власних значень 
і відповідних їм власних векторів задачі 

Ах «ХВх, (1) 
де А, В - симетричні додатно визначені 
розріджені матриці порядка п. 

Для розв'язування цієї задачі застосу- 
ємо метод ітерацій на підпросторі. Цей ме- 
тод є узагальненням методу зворотних іте- 
рацій і полягає в побудові для задачі (1) по- 
слідовності підпросторів Е, (1 - 1, 2,...), яка 
збігається до підпростору ДЕ», що містить 
шукані власні вектори |3|. На 1-ій ітерації 


29 


обчислюється ортогональний базис під- 
простору Е, 1, якщо досягнута необхідна 
точність наближеного розв'язку, визнача- 
ються шукані власні пари. 

Таким чином, ітераційний процес 
(г 1,2,...) розв'язування задачі (1) реалі- 
зується за такою схемою: 
- знаходження розв'язку системи ліній- 

них алгебраїчних рівнянь (СЛАР) 


о АХ, ЗУ; (2) 
- обчислення прямокутної матриці 
о У -ВХ, 3) 


» обчислення проєкцій матриць А та В на 
підпросторі Е, 
Аз хо З ХІАХ, 
. (9 
вехПуєхівх, 
розв'язування повної проблеми власних 
значень для проєкцій 


- АД, -В,АМ,; (5) 
- обчислення наступного наближення 
У, - У/,Д, (6) 


Якщо після і ітерацій виконуються 
умови закінчення ітераційного процесу, на- 
() 4-0 
37-КЮ 


приклад, | 
Ж 


«є, то проводиться 


додаткова ітерація із наближеними розв'яз- 
ками задачі (1), приймаються Ж; - А"), 
(21,2... г) та перші г стовпчиків мат- 
риці Х "ох 
власні значення упорядковані за зростан- 
ням 0 «М ЗЛ» 5..52,2...). 

Як відомо |3|, ітераційний процес збі- 
гається лінійно. Причому швидкість збіж- 
ності 2; визначається відношенням 2. /?м ; 


вні (мається на увазі, що 


де 4 - розмір підпростору Е,, що ітерується. 
У послідовних реалізаціях алгоритму реко- 
мендується вибирати 4 -- пліп(2г,г--8). 

Оскільки на кожній ітерації викону- 
ється розв'язування СЛАР (2) з однією 1 
тією ж матрицею (А), то трикутне розви- 
нення (наприклад, ІЛ) цієї матриці вико- 
нується один раз до початку ітераційного 
процесу. 
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Реалізація гібридного алгоритму 
методу ітерацій на підпросторі 

На основі проведеного аналізу мето- 
ду ітерацій на підпросторі та враховуючи 
архітектурні, а також технологічні особли- 
вості гібридних комп'ютерів, задачу роз- 
в'язування часткової АПВЗ для розрідже- 
них симетричних матриць на гібридному 
комп'ютері розділимо на наступні чотири 
підзадачі (різної обчислювальної склад- 
ності), які будуть виконуватися з викорис- 

танням процесорів СРО та СРО (51. 

1. Формування розподіленої між процеса- 
ми на СРО матриці Уо початкових іте- 
рованих векторів, таких, щоб матриця 
В; з (4) була додатно визначеною. Ця 
операція може ефективно виконуватись 
на СРО, причому без обмінів даними 
між процесами, використовуючи, на- 
приклад, запропонований в |4| пара- 
лельний алгоритм. 

2. Розв'язування СЛАР методом 
І розвинення розрідженої симетричної 
додатно визначеної матриці А (з вико- 
ристанням СРО для багатопоточного ви- 
конання матрично-векторних операцій) 
51. 

3. Ітераційний процес (2) - (6), в якому 
для кожного 1 - 1,2,... обчислення роз- 
поділені між процесами на СРО), вико- 
нується в такій послідовності: 

-. для розв'язування СЛАР (2) використо- 
вується отримане у попередньому кроці 
ІЛ. розвинення матриці А, тобто роз- 
в'язуються дві системи з трикутними 
матрицями ГУ - У, | та Ро зу 
(матрично-векторні операції викону- 
ються на СРО); 

- обчислення | прямокутної матриці 
У «ВХ, (3), в залежності від струк- 
тури матриці В (розріджена або діаго- 
нальна), розміру ітерованого підпросто- 
ру, кількості використаних СРО та 
об'єму їх пам'яті виконуються або тіль- 
ки на СРО, або з використанням СР та 
СРО, або лише на СРУ); 

- обчислення добутків прямокутних мат- 
риць за формулою (4) для формування 
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проєкцій матриць А та В на підпростір 
виконуються на СРО, а збір матриць 
проєкцій (при використанні більше од- 
ного СР) здійснюється кожним про- 
цесом на СРО (такий підхід суттєво 
скорочує об'єм даних, якими обміню- 
ються СРО та СРО; до того ж на СРО 
обчислення добутків прямокутних мат- 
риць можна виконувати асинхронно з 
іншими обчислювальними операціями 
або обмінами); 

для розв'язування повної узагальненої 
АПВЗ (5), враховуючи порівняно неве- 
ликий порядок матриць проєкцій, вико- 
ристовується метод Якобі |4| 1 задача 
розв'язується кожним МРІ-процесом на 
СРО (у такому випадку відсутня необхід- 
ність обмінів даними між СРІ) та СР); 

. перевірка умов закінчення ітераційного 
процесу виконується кожним процесом 
на СР; 

. обчислення (6) нової матриці інтегрова- 
них векторів У, (або матриці наближе- 
них власних векторів Х") виконується 
на СРО у відповідності з розподілом 
даних (обчислюється підматриця мат- 
риці У, або Х"), причому немає необхід- 
ності в обмінах даними між процесор- 
ними пристроями. 

4. Дослідження достовірності результатів 
та обчислення оцінок похибки отрима- 
ного розв'язку задачі |4|. Для обчис- 
лення оцінок відносної похибки обчис- 
лених наближень до власних значень 
виконуються математичні операції, 
аналогічні операціям, які виконуються 
в ітераційному процесі. Для реалізації 
цих операцій використовуються ті ж 
гібридні алгоритми, що й в ітераційно- 
му процесі. 

Як видно з описаного гібридного ал- 
горитму, найбільшу обчислювальну склад- 
ність має розв'язування системи лінійних 
алгебраїчних рівнянь (2) з розрідженою до- 
датно визначеною матрицею, яка може бути 
різної структури. Ефективність реалізації 
цієї підзадачі на гібридному комп'ютері у 
великій мірі залежить від способів збере- 
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ження елементів матриць та їх розподілу 
між процесорними пристроями. 

Тут розглядаються два варіанти гіб- 
ридного алгоритму методу ітерацій на під- 
просторі - для стрічкових симетричних 
матриць |5| та для блочно-діагональних 
матриць з обрамленням |бЇ. 

Особливості реалізації гібридного 
алгоритму методу ітерацій на підпрос- 
торі для стрічкових матриць 

Для застосування гібридного алго- 
ритму розв'язування системи лінійних ал- 
гебраїчних рівнянь з симетричною додатно 
визначеною стрічковою матрицею було 
проведено розподіл матриці А на квадратні 
блоки А порядка 5. 


Блоком А; вважається підматриця 


матриці А, що знаходиться на перетині 

рядків (і - І)з -1,15 та | стовпчиків 

( / -1)5 3-1, 5. Для зручності представлен- 

ня будемо вважати, що порядок матриці п 

та напівширина стрічки К кратні 5. Нехай 
п К | 

4д- -, І- --. Тоді блочне представ-лення 
5 5 

матриці А має вигляд 


А. 0 0 0 
Аз Азо 0 
Дім Міч)2 
0 Ацг)2 
0 0 
"б ач) | 9 
0 0 Ач) 0 ча 


Елементи головної діагоналі та ниж- 
нього або верхнього трикутника (в залеж- 
ності від використаного алгоритму) нену- 
льових блоків цієї симетричної матриці 
розподіляються між процесами СРО у 
відповідності ї з  одномірною  блочно- 
циклічною схемою |4|. За цією схемою 
блок А;; зберігається в процесі з логічним 


номером (1- І)тод р (результат операції 
кто) - залишок від ділення К на ), 
-1«І«р-2 -зсув, зазвичай І --1). 
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У результаті ЦІЛ - розвинення (2), 
аналогічно будуть розподілені блоки отри- 
маних нижньої трикутної матриці І, або 


верхньої трикутної матриці у 

Така ж блочно-циклічна схема роз- 
поділу використовується для елементів 
матриці В та отриманих прямокутних мат- 
риць інтегрованих векторів Х,, У, У/, за 
(3) - (6). При цьому достатньо розподіля- 
ти та зберігати лише ненульові елементи 
матриці В в такій послідовності: піддіаго- 
нальні, діагональні та наддіагональні. Це 
значно спрощує виконання множення та- 
кої матриці на прямокутну на СРО, несут- 
тєво збільшуючи загальний об'єм даних. 
В пам'яті СРО зберігаються копії тих бло- 
ків (відповідно до розподілу між СРІ)) 
матриць А, В, Х,, У, М, які використову- 
ються для виконання математичних 
операцій. 

Особливості реалізації гібридного 
алгоритму методу ітерацій на підпрос- 
торі для додатно визначених блочно- 
діагональних матриць з обрамленням 

Структуру блочно-діагональної мат- 
риці з обрамленням представлено на рис. 1. 


Рис. 1. Коефіцієнт прискорення 


У цьому випадку в гібридному алго- 
ритмі для розв'язування АПВЗ-методом 
ітерацій на підпросторі |6| передбачаєть- 
ся, що вихідна матриця може спочатку бу- 
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ти представлена в блочно-діагональному 
вигляді з обрамленням (у результаті засто- 
сування методу скінченних різниць, скін- 
ченних елементів або отримана після 
структурної регуляризації, наприклад, за 
методом паралельних перерізів, у такому 


вигляді 
р; 0 17 Ре 0 Ср 
0 О»5 0 - 0 Ср 
ре 0 о р 0 С 
АЗРТАР- й б 
0 0 0 Дрраї Сраїр 
Ср Са Ср С рр-і Ор 


де Р - матриця перестановок, а блоки Ї),, 
С, та С,, зберігають розріджену структу- 
ру, р - кількість діагональних блоків (р 2 3). 
Зауважимо, що порядок останнього діаго- 
нального блоку може бути набагато мен- 
шим, ніж порядки інших діагональних 
блоків. 

Для розв'язування СЛАР за форму- 
лою (2) було використано гібридний алго- 
ритм методу 11 -розвинення блочно-діа- 
гональної матриці з обрамленням |б|). Така 
структура матриці дає можливість блочно- 
циклічним способом розподілити її між 
процесами СР та провести на них пара- 
лельну (незалежну) обробку блоків Д», 


с,, і- І,р- 1, задіюючи СРО для матрич- 
них операцій. При цьому можна змінюва- 
ти кількість та порядки блоків у розподілі, 
що дозволяє гнучко управляти наванта- 
женням на СРО та СРО й забезпечувати 
хороше балансування між ними. 

Крім того, така блочна структура до- 
зволяє працювати з нерозривними масива- 
ми даних на СРО, що зменшує кількість 
індексних операцій і перевірок, які на гра- 
фічних прискорювачах є досить витратни- 
ми. Причому кількість блоків слід вибира- 
ти з урахуванням кількості процесорів, за- 
діяних у розрахунках. 
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Експериментальне дослідження 
гібридних алгоритмів методу ітерацій на 
підпросторі для розв'язування часткової 
АПВЗ розріджених матриць 

Для дослідження гібридних алгорит- 
мів методу ітерацій на підпросторі вико- 
ристовувалися симетричні розріджені мат- 
риці різної структури та різних порядків, у 
тому числі було використано матриці з ко- 
лекції університету Флориди |З. 

Програмна реалізація гібридних ал- 
горитмів виконана на алгоритмічній мові 
СУ з використанням системи МРІ |9| для 
розпаралелення на багатоядерних СРО- 
процесах та технології СОДА (10) для реа- 
лізації обчислень на СРО. Виконання опе- 
рацій матрично-векторної обробки на СР 
здійснювалось при використанні відпо- 
відних функцій з бібліотеки програм 


--«І-- бибсома3 
60,00 


50,00 
40,00 
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Прискорення 
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0,00 


1СРО - 1ОРО 2СРУЮ - 2СРЦ 


-Ф--Бтуисга 1 


Ше! МКІ. 11), ана СРО - функцій бібліо- 
тек програм сиВІ.45 |12| та си5рагяе (131. 
Комп'ютерні експерименти проводи- 
лись на багатоядерному комп'ютері з гра- 
фічними процесорами з такими технічними 
характеристиками: СРІ серії 
ке К) Хеоп(В) СРО ЕЗ606, тактова 
частота 2.13 СН»7, швидкість 4,8 СТ/5З, кеш- 
пам'ять 3 МВ, у вузлі: 2 СРО по 4ядра, 
Мах Метогу 517е 288 СВ. 

На графіках (рис. 2) демонструються 
прискорення гібридного алгоритму, які 
отримано при розв'язуванні АПВЗ для різ- 
них матриць: Дибсоуаз - порядок матриці 
146 689, кількість ненульових елементів 
3 636 643; рамсга 1 - порядок матриці 
148 770, кількість ненульових елементів 
10641602; Вопе010 - порядок матриці 
986 703, кількість ненульових елементів 
41 851 783. 


--Йк-- Вопе010 


ДСРОЮ -- АОРО ЗСРО - 8СРЦ 


Кількість обчислювальних пристроїв 


Рис. 2. Прискорення алгоритму для стрічкових симетричних матриць 


З рисунку ми бачимо, що гібридний 
алгоритм методу ітерацій на підпросторі 
для симетричних стрічкових матриць доб- 
ре масштабований, прискорення при збіль- 
шенні кількості процесів СР та відповід- 


О О.В. Чистяков 


них процесорів СРО значно зростає для 
всіх задач. 

Крім того, можна відзначити, що для 
матриць невеликого розміру (ШРибсоуаз3) 
при виході за межі обчислювального вуз- 
ла (коли кількість використаних СРО та 
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СРО більша двох) наступає насичення 
процесу обчислювальними ресурсами. 
Водночас, для матриць великого порядка 
рилууста 1 та Вопе010 зі збільшенням кіль- 
кості СРО та СР прискорення зростає. 
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Результати досліджень гібридного ал- 
горитму методу ітерацій на підпросторі для 
блочно-діагональних матриць з обрамлен- 
ням наведено на рис. 3. Використано роз- 
ріджені матриці з флоридської колекції |8). 


шо»? сігсиїї 


Прискорення 


2СРО чн 20ОРОЦ 


шВогпеото  шіптіїїіва 923 


5,00 
4,00 
з,0 
2,00 
2 ни 
ооо 


ДСРИ он А4СРИ ЗСРОЮ - З8СРИ 


Рис. 3. Прискорення алгоритму для блочно-діагональних матриць з обрамленням 


Результати математичного моде- 
лювання задачі стійкості композитних 
матеріалів на гібридному комп'ютері 

Задача була розв'язана при викорис- 
танні нових гібридних алгоритмів розв'я- 
зування АПВЗ для розріджених матриць з 
різними вихідними даними | 141. 

Нижче наведено результати з такими 
вихідними даними: порядок матриць - 
12282; напівширина стрічки матриці А - 
6212 та матриці В - 71; обсяг пам'яті - 
2 СЬ. 

Для порівняльної характеристики 
створених гібридних алгоритмів та прог- 
рам розв'язування проводились на комп'ю- 
терах різної архітектури: 

е комп'ютер гібридної архітектури СКТТ-4 
з СРО -- серії ше (К) Хеоп(В) Е5-2600, у 
вузлі - 2 СРО по 8ядер, графічні про- 
цесори -- Ммідіа Тезіа М2075; 

е гібридний комп'ютер СКІТ-4.5 АЇ з про- 
цесорами Піеї(К) Хеоп(В) Е5-2695 у4, у 
вузлі - 2 СРО по 18 ядер, графічні про- 
цесори -- Муїйіа Тезіа К20. 

Результати розв'язування задачі при 
використанні різних версій алгоритму ме- 
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тоду ітерацій на підпросторі для додатно 

визначених стрічкових матриць: 

е послідовним алгоритмом час розв'язу- 
вання - 22 хв. 38 сек; 

е- паралельним алгоритмом на СКІТ-4, ви- 
користовуючи 2 вузли (4 процесори по 8 
ядер), час розв'язування - 2 хв. 13 сек; 

е гібридним алгоритмом на СКІТ-4: при 
використанні одного СРО та СРО -- 
1 хв. 30 сек, при використанні двох СРО 
та СРО - 0 хв. 47 сек; 

е гібридним алгоритмом на СКТТ-4.5 ДІ: 
при використанні одного СРО та СРО -- 
0 хв. 35 сек. 

Отже, за розробленим гібридним ал- 
горитмом методу ітерацій на підпросторі 
розв'язування АПВЗ для додатно визначе- 
них стрічкових матриць отримано такі при- 
скорення, у порівнянні з послідовною вер- 
сією алгоритму: на МІМО-комп'ютері - в 
9 раз; на гібридному комп'ютері - в 15 і 
28 разів, використовуючи один і два СРІ) 
відповідно; на гібридному комп'ютері 
СКІТ-4.5 АТ - в 38 раз. 

Час розв'язування цієї задачі на 
СКІТ-4,5 ДІ за версією гібридного алгорит- 
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му методу ітерацій на підпросторі для до- 
датно визначених блочно-діагональних мат- 
риць з обрамленням становить 7,94 сек. 

Розв'язок цієї задачі за допомогою 
пакета МАТІЬАВ (|(15| було отримано за 
340 сек. Отже, за гібридним алгоритмом 
методу ітерацій на підпросторі для блочно- 
діагональних матриць з обрамленням зада- 
ча була розв'язана приблизно в 43 рази 
швидше, у порівнянні з часом розв'язуван- 
ня за МАТІ АВ та приблизно в 5 раз швид- 
ше у порівнянні з часом розв'язування за 
гібридним алгоритмом призначеного для 
додатно визначених стрічкових матриць. 

Висновки 

Запропоновано алгоритмічно- 
програмне забезпечення на основі методу 
ітерацій на підпросторі для розв'язування 
часткової узагальненої проблеми власних 
значень розріджених матриць довільної 
структури на багатоядерному комп'ютері з 
графічними процесорами. Використання 
нових гібридних алгоритмів та програм у 
математичному моделюванні задачі міц- 
ності композитного матеріалу забезпечує 
значне прискорення обчислень при ефек- 
тивному використанні комп'ютерних об- 
числювальних засобів паралельного ком- 
п'ютера зі складною архітектурою. 


Література 

1. Сиг А.М. (1999), Кипаатепіаїз ої Ше Тигее- 
Рітепіопаї Тпеогу ої Згафійу о) Деїогтафбіе 
Водіез. Вегіїп -НеїдеЇБего-Меху Хогк: Зргіпеег. 
ДОЇ: 10.1007/978-3-540-69633-9. 

2. Си2 А.М, Ректег У.А., КоКрапепКо Уип У. (2000). 
Зоіоп ої ріапе ргобіет5 ої Ше ійгее-аїтепзіоп 
ргофбіет5  забійу ої а пібРроп-геїн/огсеад 
сотрозіїє. їі. Аррі. Меср., 36(10). 1317-1328. 
ГОЇ: 10.1023/А:1009434116426. 

3. Парлетт Б. (1983). Симметричная проблема 
собственнькх значений. М.: Мир, 384. 

4. Химич А.Н., Молчанов И.Н., Попов А.В., 
Чистякова Т.В., Яковлев М.Ф. (2008). 
Параллельнье  алгоритмь решения задач 
вьшислительной математики. Киев: Наукова 
думка. 

5. А.М. Крітісі,  А.У.Ророу, О.М. Срізгуакоу. 
(2017). Нубніа Аігогійт5 Гог 5оіуіпє Пе 
Аієбергаїс  Кісбепуаїше  Ргобіет ул  Зраг5е 
Маїгісез. Субегпейс5 апа Зубієгтє  Апаїубі8. 
53(6), 937-949. ДОГ. 10.1007/510559-017-9996-5. 


О О.В. Чистяков 


6. Химич А.Н., Попов А.В., Сидорук В.А., 
Чистяков А.В. (2020). Параллельньй алгоритм 
решения частичной проблемь  собственньх 
значений для блочно-диагональньх матриц с 
окаймлением. Кибернетика і системний аналіз. 
6, 61-74. 

7. Сидорук В.А. Єршов П.С., Богурський Д.О., 
Марочканич О.Р. (2019).  Інтелектуалізація 
обчислень | для | задач | математичного 
моделювання складних процесів і об'єктів. 
Комп'ютерна математика. 1, 143-150. 

8. ТРре 5шікебрагзе Майіх Сойесйоп. Отримано з 
риря//сізе ий едц/тезеагсі/5раг5е/таїгісез/ 

9. Немнюгин С.А., Стесик О.Л. (2002). 
Параллельное программирование для 
многопроцессорньх вьічислительньх систем. 
СПО.: БХВ-Петербург. 

10. Боресков А.В., Харламов А.А. (2010). Основьі 
работь с технологией СУРА. М.: Пресс. 

11.Мав Кегпеї ІЛЬтагу. Отримано З 
риря/5о0Ймаге 1пте! сопі./еп-ц5/тКіІ/. 

12. саВ1.А5. Отримано 3: 
риря://Чеуеіорег.пуїідйїа.сот/сибіаз/ 

13. сибрагве ІЛЬгагу. Отримано З 
рири/4ос8.пмійта сот/сида/сизРАВ5БВ/ 

14. Кбітіср АХХ., Пектеї М.А. Ророу 
А.У., Срізгуакоу О.У. (2018). Митегісаї 5їиау ої 
те Зіабіййу о Сотрозіїе Матегіаїз оп Сотриїег5 
ої Нубгіа Агспіесіите. Уоигпа! ої Ашотайоп апа 
Поїогтабйоп У5сіепсез 50 (7). ВеєеП! Нои5е Іос., 7- 
24. рОЇ: 10.1007/510559-020-00311 1-2. 


Кеїегепсе5 

1. Сиг А.М. (1999), Кипаатепіаїз ої Ше Тигее- 
Рітетіопаї Тпеогу ої 5габійшу ої Деїогтафбіе 
Водіез. Вегіїп -НеїдеЇБего-Меху Хогк: Зргіпеег. 
ПОЇ: 10.1007/978-3-540-69633-9. 

2. Си2 А.М, Ректег У.А., КоКрапепКо Уи У. (2000). 
Зоійтоп ої ріапе ргобіет5 ої Ше ійгее-аїтепзіоп 
ргобіет5  забійу ої а гівРроп-геїп/огсеад 
сотрозіе. і. Аррі. Месі., 36(10). 1317-1328. 
ОЇ: 10.1023/А:1009434116426. 

3. Рагіеї В. (1983). 5іттеїгісппауа  ргоріета 
зорзуєтпуїй спасПепіу. М.: Міг, 384. 

4. Нітісп А.М. Моіспапоу ІМ. Ророу А.У., 
СПізсуакоуа | Т.М.  Хакоміеу  М.Е. (2008). 
Рагкайеіпуіє | аїдогіїтуї | гезпепіуа | задасПп 
ууіспі5Шеїпоу таїетаїйїікі. Кіеу: МайКоуа Фитка. 

5. А.М. Кбрітісі,  А.У.Ророу, О.М. Срізгуакоу. 
(2017). Нубніа Аігогійт5 Гог 5оіуіпє Пе 
Аівергаїс  Кісзепуаїшше  Ргобіет ул  Зраг5е 
Маїгісез. Субегпейс5 апа Зубіегт5  Апаїубіє. 
53(6), 937-949. ДОГ. 10.1007/510559-017-9996-5. 

6. Нітіср А.М. Ророу А.М., Зідогак УМ.А., 
Срізгуакоу А.М. (2020). РагаПеіпуіу аідогіїт 
ге5пепіуа з спазїстпоу ргобіетуі 5о0Б5іуеппуїп 
спаспепіу аїуа Біосіпо-аїавопатуїй  таїгії5 5 


35 


оКаутіепіет. КібегпейїКка І 5ізіетапіу апай. 6, 
61-74. 

7. Зудогак М.А., Хегзроу Р.5. Вопшеякуі Рр.О., 
Магосіпкапусп О.К. (2019). ГпгеіеКкінайігатяіа 
оРрспузієеп аа гадасп таїетатусппопо 
тоаєійуаппіа 5Кіадпуки ргоїзезіу і офіекіїу. 
Котрішегпа паїетагука. 1, 143-150. 

8. ТРе 5Зийебрагзе Машіх СоПесіоп. ВКеїгіеуеа гот 
риря/сізе. ий е4ц/гезеагсі/зраг5е/таїтісез/ 

9. Мептуипеіп 5.А., Зіевік О.І, (2002). Рагайеіпое 
ргозгаттігоуапіе | аЇуа | тповоргоїізеззотпуї п 
ууіснізШеЇпуїй 5і5їет. 5РЬ.: ВНУ-Регегриге. 

10. Вогезкоу А.У., Нагіатому А.А. (2010). Озпоууї 
габогуї 5 іеппоіозіеу СУФА. М.: Рге55. 

11.Мафв  Кегпе! | Ілбгагу. | Веїісугд | бот 
риря/5ойсмаге 1пте сопа./еп-ц5/тКіІ/. 


12. сиВ1. А5. Кеїгісуед от 
Биря://Чеуеіорег.пуїдйіа.соті/сибіаз/ 
13. сибрагве ІЛЬгагу. Кеїгісуед от 


рири/дося пуійа сот/сида/сиЗРАВ5Б/ 

14. Крітіср АХХ., Пектеї М.А. Ророу 
А.У., Срізгуакоу О.У. (2018). Митегісаї 5їшау ої 
те Зіабіййу о; Сотрозіїе Матетіаїз оп Сотриїег5 
ої Нубгіа Агспіїестите. Уоигпа! ої Ашотайоп апа 
Пїогтабйоп Зсіепсез 50 (7). ВеєеП Ноиве Їос., 7- 
24. ДОГ: 10.1007/510559-020-00311 1-2. 


Стаття надійшла до редакції 22.07.2020 
Після доробки 31.08.2020 


36 


155 2710-1673. Агіїйсіа! ПпиеШяеепсе, 2020, ХМ» 3 


о А.У. Срізсуакоу 


